Khi Hitler và các tướng lĩnh quân đội của ông ta yêu cầu một cái cớ để xâm lược Ba Lan vào năm 1939; Himmler, Heydrich và Heinrich Müller đã vạch kế hoạch và tiến hành một hoạt động cờ giả mang mật danh Chiến dịch Himmler. Những lính Đức sẽ mặc quân phục của Ba Lan và thực hiện các cuộc đụng độ ở biên giới, giả vờ như Ba Lan đang gây hấn với Đức. Truyền thông Đức Quốc xã lấy các cuộc xô xát làm lý do để biện hộ cho việc xâm lược Ba Lan, sự kiện mở màn thế chiến thứ hai.[92] Ở giai đoạn khởi đầu của cuộc chiến, Hitler đã cho phép tiêu diệt những thường dân Ba Lan, bao gồm cả người Do Thái và người thuộc dân tộc Ba Lan. Einsatzgruppen (lực lượng đặc nhiệm SS) đã được thành lập từ đầu bởi Heydrich để bảo vệ các văn phòng và hồ sơ chính phủ trong những khu vực mà Đức Quốc xã tiếp nhận quyền kiểm soát trước thế chiến thứ hai.[93] Với sự cho phép của Hitler và dưới sự chỉ đạo trực tiếp của Himmler và Heydrich, các đơn vị Einsatzgruppen-giờ trở thành các đội quân giết chóc-theo chân Heer (quân đội) tiến vào Ba Lan, và đến cuối năm 1939 họ đã tàn sát khoảng 65.000 trí thức và những dân thường Ba Lan khác. Các đơn vị Heer và lực lượng dân quân cũng nhúng tay vào hoạt động giết người.[94][95] Dưới lệnh của Himmler thông qua Cơ quan An ninh Trung ương (RSHA), các đội quân này đồng thời còn được giao nhiệm vụ vây bắt dồn người Do Thái và những chủng tộc khác vào trong các khu Do Thái và các trại tập trung.

Đức Quốc xã sau đó đã xâm chiếm Pháp, Đan Mạch, Na Uy, Hà Lan, và bắt đầu ném bom nước Anh để chuẩn bị cho cuộc xâm lược quốc gia này.[96] Vào ngày 21 tháng 6 năm 1941, một ngày trước thời điểm Đức Quốc xã xâm lược Liên Xô, Himmler đã được phân công chuẩn bị cho Generalplan Ost (Kế hoạch Tổng thể cho phía Đông), dự thảo kế hoạch hoàn thành vào tháng 7 năm 1942. Nội dung của nó là hướng đến sự xâm chiếm thành công các quốc gia vùng Baltic, Ba Lan, Tây Ukraine, Byelorussia để làm nơi tái định cư cho 10 triệu công dân Đức. Những cư dân hiện tại-khoảng 31 triệu người-sẽ bị trục xuất xa hơn về phía Đông, bị bỏ đói hoặc sử dụng làm lao động cưỡng bức. Kế hoạch này sẽ mở rộng biên giới của Đức thêm 1.000 km về phía Đông. Himmler dự kiến thời gian hoàn thành là 20 cho đến 30 năm, với chi phí đầu tư 67 tỉ Reichsmark.[97] Himmler tuyên bố công khai: "Đây là vấn đề của sự tồn vong, do đó nó sẽ là một cuộc đấu tranh chủng tộc khốc liệt tàn bạo, trong đó khoảng 20 đến 30 triệu người Do Thái và Slav sẽ bị tiêu diệt thông qua các hoạt động quân sự hoặc các cuộc khủng hoảng (thiếu) lương thực."[98]

Tuyên bố của Himmler rằng cuộc chiến ở phía Đông là một cuộc thập tự chinh của toàn châu Âu để bảo vệ các giá trị truyền thống châu Âu cổ xưa khỏi "Đám người Bolshevik vô đạo" đã thu hút những tình nguyện viên đến từ khắp mọi nơi trên lục địa già gia nhập Waffen-SS.[99] Ban đầu ông chọn các tân binh đến từ Bắc và Tây Âu: Scandinavia, Liechtenstein, Luxembourg, Flanders, Hà Lan, và Thụy sĩ; những người mà ông cho là đến từ "các quốc gia có quan hệ dòng dõi".[100] Tây Ban Nha và Italia cũng là hai quốc gia cung cấp nhân lực cho các đơn vị Waffen-SS.[101] Trong số các nước Tây Âu, số tình nguyện viên thay đổi từ mức cao tầm 25.000 như Hà Lan[102] đến khoảng 300 như các nước Thụy Điển và Thụy Sĩ. Với các nước phía Đông, quốc gia có số người tham gia tình nguyện cao nhất là Lithuania (50.000) và thấp nhất là Bulgary (600).[103] Kể từ sau năm 1943 hầu hết những lính đến từ phía Đông đều là bị ép buộc. Tính tổng thể thì sự thể hiện của các đơn vị Waffen-SS phương Đông là chưa đạt tiêu chuẩn.[104]

Vào mùa thu năm 1941, Hitler chỉ định Heydrich làm Người bảo vệ Ủy quyền của vùng bảo hộ Bohemia và Moravia mới thành lập. Heydrich bắt đầu phân loại người Séc theo chủng tộc và trục xuất nhiều người đến các trại tập trung. Việc những phần tử chống đối bị bắn đã mang đến cho Heydrich biệt hiệu "Gã đồ tể của Praha".[105] Sự bổ nhiệm này của Hitler làm tăng cường mối hợp tác giữa Himmler và Heydrich, và Himmler tự hào vì có quyền kiểm soát SS trên khắp đất nước. Mặc dù có thể tiếp cận trực tiếp với Hitler, lòng trung thành của Heydrich với Himmler vẫn không hề thay đổi.[106]

Với sự đồng thuận từ Hitler, Himmler tái thiết lập Einsatzgruppen trong sự chuẩn bị hướng đến cuộc xâm lược Liên Xô theo kế hoạch. Vào tháng 3 năm 1941, Hitler nói chuyện với các tướng lĩnh quân đội, trình bày ý định nghiền nát Liên Xô và tiêu diệt giới trí thức, lãnh đạo Liên Xô.[107] Chỉ thị đặc biệt của Hitler, "Các nguyên tắc trong Phạm vi Đặc biệt tại Chỉ thị số 21 (Chiến dịch Barbarossa)", có ghi: "Trong khu vực các chiến dịch của quân đội, Reichsführer-SS đã được trao những nhiệm vụ đặc biệt theo lệnh của Führer (Lãnh tụ: Hitler), để chuẩn bị cai quản về chính trị. Những nhiệm vụ này phát sinh từ cuộc đấu tranh cuối cùng sắp tới của hai hệ thống chính trị đối lập. Trong khuôn khổ các nhiệm vụ này, Reichsführer-SS hành động độc lập và dựa trên trách nhiệm của bản thân."[108] Theo đó Hitler có ý ngăn chặn sự bất đồng nội bộ điều như đã từng xảy ra trước đó tại Ba Lan vào năm 1939, khi một số tướng lĩnh Quân đội Đức đã tìm cách đem các thủ lĩnh Einsatzgruppen ra xét xử cho các hành vi tàn sát mà họ đã tiến hành.[108]

Theo chân quân đội tiến vào lãnh thổ Liên Xô, Einsatzgruppen đã vây bắt, tiêu diệt người Do Thái và các chủng tộc khác mà Quốc xã cho là đáng ghét.[109] Những báo cáo thường xuyên được gửi đến Hitler.[110] Tổng cộng 2,8 triệu tù binh chiến tranh Liên Xô đã chết do bị bỏ đói, ngược đãi hay bị hành quyết chỉ trong tám tháng những năm 1941-1942.[111] Bên cạnh đó có khoảng 500.000 tù binh chiến tranh Liên Xô đã chết hoặc bị hành quyết trong các trại tập trung trong tiến trình thế chiến thứ hai; hầu hết bọn họ đều bị bắn hoặc bị đưa đến các phòng hơi ngạt.[112] Vào mùa xuân năm 1941, theo lệnh của Himmler, 10 trại tập trung được xây dựng trong đó các tù nhân bị ép làm lao động cưỡng bức.[113] Những người Do Thái từ khắp mọi nơi trên nước Đức và các vùng lãnh thổ bị chiếm đóng bị trục xuất đến các khu trại hoặc bị giam hãm trong các khu Do Thái (khu biệt lập). Khi quân Đức bị đẩy lùi khỏi Moscow vào tháng 12 năm 1941, dấu hiệu cho thấy cuộc xâm lược Liên Xô đã thất bại, Hitler và các sĩ quan Đức Quốc xã khác nhận ra rằng các hoạt động trục xuất hàng loạt sang phía Đông sẽ không còn có thể thực hiện. Do đó, thay vì tiếp tục trục xuất, rất nhiều người Do Thái ở châu Âu đã được trù định cho cái chết.[114][115]